这一节我们将看见，如何将数值函数用矩阵表示，并使用正定矩阵来指示函数的极值。

二次型

1. 定义：对$n$维实向量$x$及$n$阶实对称矩阵$A$，称以下数值函数为一个实二次型（quadratic form），为一个二次齐次多项式。

   • $f(x) = x^TAx = \sum\limits_{i =1}^n \sum\limits_{j =1}^na_{ij}x_ix_j$

2. 对$n$维复向量$x$以及$n$阶复矩阵$A$且$A = \bar A^T(Hermitian)$，则称$f(x ) = \bar x^T Ax$为复二次型。

3. 若$n$阶矩阵$D$为对角阵，则称二次型为对角型的：

   • $f(x) = x^TDx = \sum\limits_{i =1}^n d_{ii}x_i^2$

   • 任何二次型总可以经过坐标变换$x = Qy$变为对角型的，这是因为对实对称矩阵$A$，总存在正交阵$Q$，使得$Q^TAQ = \Lambda = diag(\lambda_1,...,\lambda_n)$。

   • $\therefore f(x) = x^TQ\Lambda Q^Tx = y^T\Lambda y = \sum\limits _{i=1}^n\lambda_iy_i^2$

二次型的分类

一个二次型$f(x) = x^TAx$是：

• 正定的，若对所有$x \ne 0$，有$f(x) > 0$;
• 负定的，若对所有$x \ne 0$，有$f(x) < 0$;
• 不定的，若$f(x)$既有正值，也有负值;
• 半正定的，若对所有$x \ne 0$，有$f(x) \ge 0$;
• 半负定的，若对所有$x \ne 0$，有$f(x) \le 0$;

性质及定理

1. 主轴定理：

   • 设$A$是一个$n$阶实对称矩阵，则存在正交变换$x = Qy$，使得二次型变为对角型的二次型：

   • $x^TAx = y^T\Lambda y = \sum \lambda_iy_i^2$

2. 推论：

   • 若$A$为$n$阶正定矩阵，则$x^TAx = 1$ 表示中心在原点，主轴沿着$A$的特征值方向，半长轴相应为$\frac{1}{\sqrt{\lambda_1}},...\frac{1}{\sqrt{\lambda_n}}$的椭球面，其中$\lambda_1,...\lambda_n$为$A$的特征值。

3. 设$A$为$n$阶实对称矩阵，则二次型$f(x) = x^TAx$是：

   • 正定的 <=> $A$的所有特征值都是正数；
   • 负定的 <=> $A$的所有特征值都是负数；
   • 不定的 <=> $A$的特征值既有负数，也有正数；

4. 矩阵的合同

   • 若两个矩阵$A,B$，若存在$n$阶可逆矩阵$C$，使得：

   • $C^TAC = B$

   • 则称矩阵$A$和$B$合同(congruent)

5. 主轴定理可表述为：任何实对称矩阵正交合同与对角阵。

6. 事实上，实对称矩阵不限于正交合同，其他代换（如LDU分解）也可合同与对角阵。

7. 惯性定理：

   • 实对称矩阵$A$与矩阵$C^TAC$具有相同数目的正特征值，负特征值和零特征值。

在函数极值中的应用

• 这里不给出证明，当我们使用一阶导为0求得稳定点之后，将函数转化为二次型，可根据二次型的性质判断是极小值还是极大值。

• 二次型矩阵（Hessian矩阵）：

  $Hessian_f(x_0,y_0) =\begin{pmatrix}\frac{\partial^2 f}{\partial x^2} (x_0,y_0)&\frac{\partial^2 f}{\partial x\partial y} (x_0,y_0)\\\\ \frac{\partial^2 f}{\partial x\partial y}(x_0,y_0)& \frac{\partial^2 f}{\partial y^2} (x_0,y_0)\end{pmatrix}$

• 若二次型负定，则$f(x,y)$在$(x_0,y_0)$达到极大值。

• 若二次型正定，则$f(x,y)$在$(x_0,y_0)$达到极小值。

• 若二次型不定，则$f(x,y)$在$(x_0,y_0)$不是极值。